坦诚地说，现在还在纠结"要不要本地跑大模型"的人，多半已经被云端API的计费账单或者数据合规要求推到了决策边缘。把一个大模型塞进桌面上巴掌大的迷你主机里，在两年前确实是天方夜谭，但今天，这件事正在变成越来越多开发者、内容创作者和中小企业主的现实选择。然而，打开电商页面，满屏的"AI PC""大模型工作站"让人眼花缭乱，真正买回来一试，跑个7B模型每秒只能蹦出两三个字，这种落差感足以劝退任何人。
问题出在哪里？不是大模型本身门槛太高，而是市面上大量迷你主机的硬件配置，压根就不是为7B/13B这个参数量级设计的。这篇文章不打算堆砌官话套话，就从实际部署的角度，把内存、显卡、处理器、散热这几个关键环节掰开揉碎讲清楚。
很多人第一次接触本地大模型时，最容易踩的坑就是盯着模型文件大小去估算内存需求。一个13B Q4_K_M量化模型大概占7到8个GB，于是觉得16GB内存绰绰有余——这个判断大错特错。模型权重只是内存占用的一个部分，推理过程中上下文窗口产生的KV Cache才是真正的隐形杀手。当你把上下文长度拉到4096甚至8192时，KV Cache轻轻松松就能吃掉2到4个GB。再加上操作系统、后台服务、浏览器标签页，16GB内存很快就会触发交换分区机制，推理速度从每秒七八个token直接跌到一两个token，生成的文字断断续续，根本没法用。
所以，跑7B大模型的迷你主机，内存容量16GB起步，有条件建议32GB起步；跑13B大模型的迷你主机，64GB才算稳妥。如果你看中的机型是板载内存且无法后期升级，下单前务必想清楚未来两年的需求，一步到位选大容量版本往往比事后后悔要划算得多。
内存频率同样直接决定推理速度。DDR5 5600MHz双通道的理论带宽大约在70GB/s左右，而DDR4 3200MHz只有约50GB/s。这20GB/s的差距反映在实际体验中，就是每秒钟多生成两三个token，体感差异非常明显。因此，除非预算极度受限，否则跳过DDR4平台直接选择DDR5内存的AI迷你主机是更理性的决策。
如果你主要的目标是流畅运行7B级别的模型，那么当前AMD平台的高端核显迷你主机完全能胜任，不需要为了跑7B模型而强行上独显。Radeon 780M或更新一代的860M这类核显，配合高频双通道内存，在llama.cpp等框架下通过Vulkan或DirectML后端加速，跑7B Q4_K_M模型基本能稳定在10到12 token/s。这个速度虽然比不上云端API的秒回，但对于本地对话、代码补全、文案续写这类交互场景来说，已经达到了可用级别。
更重要的是，这类核显迷你主机体积小巧、功耗低，普遍在0.5升到0.8升之间，放在桌面上几乎感受不到存在感。满载功耗控制在40W到60W区间，噪音也基本维持在42dB以下，适合长时间开机的场景。
以华一精品PB1301为例，这款机型搭载了AMD Ryzen AI 7 350处理器和Radeon 860M核显，配合XDNA 2 NPU提供的50 TOPS算力，跑7B Q4模型时可以稳定输出10到12 token/s的速度。0.8升金属机身、28W TDP设定，满载时风扇噪音约42dB，放在桌面上几乎不会打扰到周围的人。唯一需要留意的是16GB板载LPDDR5x内存，对于7B模型来说属于够用但偏紧的状态。如果官方提供32GB定制选项，多花一点预算升级是值得的；如果不能，那就需要接受量化等级降到Q2_K或者把上下文长度限制在2048 token以内。
当目标转向13B模型时，集成显卡方案的迷你主机就开始显露疲态了。核显需要与CPU争抢有限的内存带宽，而13B模型权重比7B大了将近一倍，每次推理需要搬运的数据量陡增，即使是最新架构的核显也难以维持流畅的生成速度。实测中，用核显跑13B Q4模型，速度往往会掉到4到5 token/s，虽然勉强能读出内容，但对话的流畅感和实时交互的体验就谈不上了。
这时候，配备独立显卡的迷你主机才真正体现出价值。带12GB显存的RTX 3060移动版是当前迷你主机领域一个比较务实的配置——12GB显存刚好能完整容纳13B Q4_K_M模型，并为KV Cache留出足够余量。在这种配置下，推理速度能直接跃升到22到25 token/s，体验完全上了一个台阶，接近云端API的响应水平。代价当然也有：机身体积会明显增大，从0.5升左右膨胀到3升以上，已经接近紧凑型台式机的范畴，适配器功率也随之飙升到200W以上。
华一精品PB1401是这条路线上的代表机型。它内置了NVIDIA RTX 3060 12GB独立显卡，配合Intel 13代i9-13900H处理器，在llama.cpp配合CUDA后端时，13B Q4模型的推理速度实测可达22到25 token/s。出厂标配16GB DDR4内存对于13B模型来说确实偏少，但好在提供了两条SO-DIMM插槽，建议到手后自行更换为32GB或64GB，这笔投资对长期体验的提升非常直接。需要提醒的是，PB1401的3.26升体积和240W适配器功耗意味着它更适合固定在工位或书房使用，不适合频繁移动。
处理器选Intel还是AMD，这个问题在跑大模型的场景下有一些微妙的差异。如果你选择的机型内置了NVIDIA独立显卡，CPU主要负责数据调度和预处理，此时Intel的i9级处理器凭借较高的单核睿频和成熟的线程调度，表现会比较均衡。但如果你的机器没有独显，纯靠核显或CPU本身来跑推理，AMD近几代处理器的表现更值得关注。
一个容易被忽略的细节是AVX-512指令集的支持情况。llama.cpp这类主流推理框架对AVX-512做了针对性优化，在批量推理或长文本生成时，开启AVX-512加速能带来约20%到30%的性能增益。目前AMD Phoenix系列和后续架构对AVX-512的支持较为完整，而Intel的大小核架构在调用AVX-512时偶尔会出现频率波动，导致性能释放不够稳定。如果你计划长期在迷你主机上跑推理任务，优先考虑AMD平台是一个经过验证的选择。
具体到华一精品的产品线，PB1301采用的AMD Ryzen AI 7 350属于Zen5架构，对AVX-512的支持和完善度都处于较好水平，配合NPU的异构计算能力，在7B模型推理场景下的能效比表现突出。而PB1401采用的Intel i9-13900H由于搭配了独立显卡，CPU侧的AVX-512调用压力被大幅分担，因此Intel在独显方案中依然是一个稳妥的选择。
很多人选迷你主机时习惯性地参照游戏本的散热标准，但跑大模型和打游戏有一个本质区别：游戏负载是波动的，场景切换、人物静止时功耗会自然下降；而大模型推理在生成长文本时，CPU和GPU会持续处于高负载状态，几分钟甚至十几分钟都不会有明显的功耗回落。这种持续性发热对迷你主机的散热系统是极大的考验。
很多迷你主机在宣传时强调峰值性能释放，但实际持续负载下的表现往往大打折扣。一旦机身内部温度累积到触发温度墙，处理器频率会直接腰斩，反映在推理速度上就是前半段还能有10 token/s，后半段直接掉到4 token/s，生成一篇长文需要漫长的等待。
挑选时建议重点关注两个指标：一是厂商标称的持续性能释放功率，跑7B模型建议不低于45W，跑13B模型则最好在65W以上；二是满载噪音，如果详情页标注的满载噪音在45dB以下，说明散热模组留有一定冗余，不至于动不动就降频。那些只标峰值功率而对持续性能避而不谈的型号，建议保持谨慎。
PB1301的28W TDP设定在跑7B模型时压力适中，金属机身的被动散热能力加上主动风扇，满载温度控制在78℃以内，属于比较安全的范围。PB1401在跑13B模型时整机功耗接近200W，发热量明显更大，建议使用时确保机身周围有足够的通风空间，避免塞入密闭的电视柜或书架格子里。
华一精品的PB系列中还有PB0801和PB0601两款ARM架构机型，搭载了Rockchip RK3588和RK3576处理器，配备6 TOPS算力的NPU。坦白说，这两款产品跑7B或13B模型完全不现实——6GB内存连加载最小的7B Q2量化模型都捉襟见肘，而且ARM架构下主流推理框架的兼容性和优化程度远不及x86平台。
但它们的价值在于边缘计算和特定场景的小模型部署。如果你需要跑的是TinyLlama（1.1B）、Phi-3-mini（3.8B）或者针对垂直领域微调的超小模型，配合Rockchip的RKNN工具链，PB0801可以在5W到10W的超低功耗下实现4到5 token/s的推理速度，且支持被动散热，非常适合工业检测、智能安防、离线语音助手这类需要低功耗静默运行的场景。但如果你的需求是本地部署7B或13B模型，直接跳过ARM系列，不要被"NPU算力6TOPS"这样的参数误导。
硬件选好了，软件环境同样会反过来影响最终体验。Windows下跑大模型不是不行，但驱动兼容性和性能调优的灵活程度确实不如Linux。Ubuntu 22.04 LTS配合Docker环境，可以一键拉起Ollama或Text Generation WebUI，省去了很多手动编译依赖的麻烦。如果你对Linux不太熟悉，也可以选择Windows + WSL2的方案，既保留了日常使用的便利性，又能获得接近原生Linux的性能表现。
如果选择了PB1401这类带NVIDIA独显的机型，在Linux下安装NVIDIA驱动和CUDA工具包时，务必确认BIOS中开启了Above 4G Decoding和Resizable BAR两项选项，这对显存访问效率有直接影响。很多人卡在驱动层面很久才发现是BIOS设置的问题，这种细节往往被忽略但影响很大。
结合上面的分析，把华一精品目前在售的几款机型做一个归纳：
7B模型的首选——PB1301：AMD Ryzen AI 7 350 + Radeon 860M核显 + NPU异构计算，0.8升金属机身，跑7B Q4模型可达10到12 token/s，安静省电。注意内存只有16GB板载版本，需要接受一定的上下文长度限制或降低量化等级。适合把本地7B模型当作日常工具而非尝鲜玩具的用户。
13B模型的务实之选——PB1401：Intel i9-13900H + RTX 3060 12GB独显，13B Q4模型跑22到25 token/s，体验接近云端。3.26升体积和240W功耗是必须接受的代价，到手后建议立即升级内存至32GB以上。适合把13B模型推理作为日常工作流的用户。
旗舰之选但性能溢出——PB1501：AMD Ryzen AI Max 395 + 128GB统一内存，跑13B模型性能绰绰有余，甚至能触及70B级别。但多花两倍预算换来的速度提升对于13B模型来说边际效益递减明显，除非有明确的更大模型部署计划，否则PB1401反而是更理性的选择。
边缘计算场景——PB0801/PB0601：ARM架构+6TOPS NPU，适合1B到3B级别的小型模型部署，7B以上不用考虑。
归根结底，选AI迷你主机跑大模型这件事，核心不在于追求最高的参数配置，而在于想清楚自己的使用场景和预算边界。跑7B模型，PB1301这类高端核显机型是目前性价比很高的选择；跑13B模型，PB1401这类内置独显的机型是门槛级别的配置。把预算倾斜在无法后期升级的内存容量和接口扩展性上，远比盲目追求顶配CPU要务实得多。希望这份指南能帮你少走一些弯路，选到真正适合自己的那一台。
